Kazimierz III dilahirkan di Kowal, dan dia telah berkahwin sebanyak empat kali. Kazimierz pertamanya berkahwin dengan Anna atau Aldona Ona,  anak perempuan Grand Duke Gediminas dari Lithuania. Perkahwinan yang membuahkan dua orang anak perempuan, Cunigunde (d. 1357) yang telah berkahwin dengan Louis VI Rom anak kepada Louis IV, Maharaja Rom Suci dan Elisabeth yang berkahwin dengan Duke Bogislaus V dari Pomerania. Aldona meninggal dunia pada 1339 dan Kazimierz kemudian berkahwin dengan Adelaide dari Hesse. Beliau menceraikan Adelaide pada 1356 dan mengahwini Christina serta bercerai. Sementara Adelaide dan Christina masih hidup (sekitar 1365), beliau berkahwin dengan Hedwig dari Głogów dan Sagan. Beliau mempunyai tiga anak perempuan dengan isteri keempatnya, dan mereka masih sangat muda ketika kemangkatannya dan kesahihannya diragui kerana Kazimierz berbigami (beristeri dua).

Aldona Dari Lithuania

Pada 30 April atau 16 Oktober 1325,Kazimierz mengahwini Aldona dari Lithuania.[3] Dia merupakan anak perempuan kepada Gediminas dari Lithuania dan Jewna. Mereka mempunyai dua anak:

• Elisabeth dari Poland (ca. 1326-1361); berkahwin dengan Boguslaw V, Duke dari Pomerania
• Cunigunde dari Poland (1334-1357); berkahwin dengan Louis VI Rom

Aldona mangkat pada 26 May 1339. Kazimierz menjadi duda selama dua tahun.

Adelheid dari Hesse

Pada 29 September 1341, Kazimierz berkahwin dengan isteri keduanya iaitu Adelaide dari Hesse. Dia merupakan anak kepada Henry II, Landgrave dari Hesse dan Elizabeth dari Meissen. Mereka tidak mempunyai anak. Kazimierz mula hidup berasingan dari Adelaide tidak lama kemudian. Perkahwinan tanpa percintaan itu bertahan sehingga 1356.[petikan diperlukan]

Kristina

Kazimierz berhasil menceraikan Adelaide dan berkahwin dengan perempuan simpanannya iaitu Christina Rokiczana, balu kepada Miklusz Rokiczani seorang saudagar kaya. Asal-usulnya tidak diketahui. Berikutan kematian suami pertamanya, dia menghadiri mahkamah Bohemia di Prague sebagai wanita-dalam-menunggu. Kazimierz membawa dia bersama dari Prague dan meyakinkan ketua rahib lelaki biara Benedictine di Tyniec supaya mengahwini mereka. Perkahwinan itu diadakan dalam satu majlis rahsia tetapi tak lama selepas itu menjadi terkenal. Permaisuri Adelaide melepaskan ikatan setelah Kazimierz beristeri dua dan kembali ke Hesse tanpa kebenaran. Kazimierz terus hidup dengan Christine walaupun terdapat aduan oleh Pope Innocent VI mewakili Permasuri Adelaide. Perkahwinan itu bertahan dari 1363-1364 apabila Kazimierz mengisytiharkan lagi dirinya bercerai. Mereka tidak mempunyai anak. [petikan diperlukan]

Hedwig dari Żagań

Kira-kira pada 1365, Kazimierz berkahwin dengan isteri keempatnya Hedwig dari Żagań. Dia merupakan anak perempuan dari Henry V Iron, Duke dari Żagań dan Anna dari Mazovia. Mereka mempunyai tiga orang anak:

• Anna dari Poland, Countess di Celje (1366 - 9 Jun 1422); mulanya dia berkahwin dengan William dari Celje; satu-satunya anak mereka ialah Anne yang berkahwin dengan Jogaila dari Lithuania (ketika itu dikenali sebagai Raja Poland). Anne berkahwin untuk kedua kalinya  dengan Ulrich, Duke of Teck; mereka tidak mempunyai anak.
• Kunigunde dari Poland (1367 – 1370)
• Hedwig dari Poland (1368 – ca. 1382).

Dengan Adelheid dan Christina yang mungkin masih hidup, pernikahan dengan Hedwig juga dianggap beristeri dua. Legitimasi ketiga-tiga anak perempuan terakhirnya itu dipertikaikan. Kazimierz berjaya mengesahkan Anne dan Cunigunde oleh Paus Urbanus V pada 5 Disember 1369. Hedwig yang masih muda telah disahkan oleh Paus Gregorius XI pada 11 Oktober 1371.[4]

Cudka

Kazimierz mempunyai tiga anak lelaki yang tidak sah bersama perempuan simpananya Cudka, isteri kepada ketua pegawai istana.

• Niemierz (terakhir dicatat hidup pada 1386); anak sulung; menyelamatkan ayahnya dan mewarisi tanah di sekitar Stopnica
• Pelka (1342-1365); berkahwin dan mempunyai dua anak lelaki, mati sebelum ayahnya
• Jan (d. 28 oktober 1383); anak bongsu; menyelamatkan ayahnya dan mewarisi tanah di sekitar Stopnica